It Takes Two to Match: Co-Evolving Generative Retriever with Reinforcement Learning
协同进化生成式检索：查询与物品双侧关键词空间的强化学习联合优化
🧭 生成式检索 · 双侧关键词协同进化 RL ★ 深度解读
University of North Carolina at Chapel Hill · Apple
用双侧 LLM 生成关键词并直接做倒排索引匹配，通过 SFT 对齐与交替 GRPO 协同进化，F1 最高提升 36.1%
📌 工作参考价值（4 点）
- 可直接落在电商/广告关键词召回系统：用两个 LLM 分别生成 item 侧搜索词和 query 侧扩展词，再通过倒排索引匹配，天然兼容广告主 keyword bidding 和现有 keyword-based 基础设施，比只优化 query 侧更贴近业务可控性。
- SFT 对齐初始化便宜且有效：先用 base LLM 离线为每个 item 生成关键词，再按相关 item 的关键词池聚合出 query 目标关键词；这样能避免 RL 冷启动，也适合用行为/成交 labels 构造对齐数据。
- item 侧用 counterfactual marginal reward 优化全局 F1 很实用：工程上通过缓存参考索引和只计算受影响 query 集合，避免每次 rollout 重建全量索引；在业务中可以把 F1 换成加权 F-measure，按 precision/recall 优先级调节，例如更严地惩罚无关广告。
- 给 query 生成器加搜索结果或在线提示，能明显提升效果：Internal 数据集上 +Search Results 将 F1 从 0.3963 提升到 0.4379，适合解决拼写错误、非英文、实体型 query；在 Agent 搜索/推荐场景中，可把已有检索结果作为 context 注入生成器。